Năm 1957, vào dịp Lễ Giáng Sinh, chính quyền tự động cho người đến treo dây, kết đèn quanh Nhà thờ Lớn Hà Nội, sau lễ họ vào đòi nhà thờ phải thanh toán một số tiền chi phí lớn về vật liệu và tiền công. Năm 1958 cũng tương tự, linh mục Tổng đại diện Nguyễn Văn Vinh và linh mục Chính xứ Trịnh Văn Căn phản ứng rất dữ dội. Linh mục Căn cho kéo chuông báo. Giáo dân cùng linh mục Vinh ra tranh cãi. Riêng linh mục Vinh leo lên thang, đan chéo tay thành hình chiếc còng, la lớn tiếng:"Tự do thế này!" Sau vụ việc này, linh mục Căn bị xử phạt 12 tháng tù treo, linh mục Vinh 18 tháng tù giam, với lý do: Vô cớ tập hợp quần chúng trái phép, phá rối trị an, cố tình vu khống, xuyên tạc chế độ, gây chia rẽ trong nhân dân. Sau phiên tòa, linh mục Vinh bị đưa đi giam ở Hỏa Lò, rồi bị chuyển đi nhiều trại giam khác như Chợ Ngọc, Yên Bái, và cuối cùng là vào trại giam Cổng Trời, nơi dành riêng cho tử tù.[3] Tuy bị xử phạt 18 tháng tù, ông đã phải ngồi tù 12 năm cho đến khi mất.[3]

Trong thời gian tù đày, một cán bộ cao cấp ở Hà Nội đã đến gặp tù nhân Vinh và cho biết: "Đảng và Chính phủ muốn anh được tha về, nhưng với điều kiện phải cộng tác với linh mục Nguyễn Thế Vịnh (Chủ tịch Ủy ban Liên Lạc Công giáo). Nếu anh đồng ý, anh có thể về Hà Nội ngay bây giờ với tôi". Nhận được lời đề nghị này, ông trả lời: "Ông Vịnh có đường lối của ông Vịnh. Tôi có đường lối của tôi".[1]

Theo như mô tả của nhà thơ Nguyễn Tuân, một người bạn tù của linh mục Gioan Lasan, kể lại để nhà văn Phùng Quán viết: thời gian trong tù, linh mục Nguyễn Văn Vinh được hầu như tất cả các trại viên, kể cả những tay hung dữ nhất, đều thương mến.[cần nguồn tốt hơn][4]. Tại đây Ông thường lo việc khâm liệm những tù nhân chết. Dù cố tình che giấu thân phận mình, các việc làm của ông đã thể hiện ông là một con người nhân ái, có tri thức và được mọi người yêu mến.[4]

Ngày 18 tháng 2 năm 1971, linh mục Nguyễn Văn Vinh qua đời.[5]. Một năm sau, chính quyền báo cho Tổng giám mục Trịnh Như Khuê và linh mục Giuse Maria Nguyễn Tùng Cương quản lý Nhà Chung: "Ông Vinh đã chết. Không được làm lễ áo đỏ cho ông Vinh!".[3]

Năm 1992, hài cốt của ông chuyến về Đại chủng viện Hà Nội, cho đến ngày 02 tháng 6 năm 2019, được đặt dưới gầm bàn thờ thánh Antôn trong nhà thờ Chính tòa Hà Nội.[5]